Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
无需学习停止的自监督置信度训练提升推理效率
🧭 自监督置信度训练提升推理效率
University of Maryland · Capital One
自监督置信度训练仅用600题微调，不改变标准生成，最高减少25%推理tokens且精度匹配
📌 工作参考价值（4 点）
- 对推荐理由、Agent规划/反思、query改写等长推理LLM链路，可在不引入长度惩罚或早停的前提下，增加置信度预测头做自监督辅助训练；线上仍用标准解码，避免额外控制逻辑。
- 中间置信度标签可通过模型自身采样轨迹构造：以最终答案对错/一致性作为软标签，几百条样本即可启动试验，适合业务低成本验证。
- 若线上有大模型生成链路，可优先在数学/逻辑类子任务（如价格计算、规则校验）复用；推荐主链路需设计点击/转化等业务置信度信号再验证。
- 论文显示效率提升来自元认知信号，而非抑制某些推理行为；这提示我们保留推理组成，可能比强制缩短更稳。